Smith dilahirkan dan dibesarkan di Philadelphia Barat, anak Caroline (Bright),[6] pentadbir lembaga sekolah Philadelphia, dan Willard Carroll Smith, Sr.,[7] seorang jurutera penyejukan. Beliau dibesarkan di kejiranan Wynnefield West Philadelphia, dan dibesarkan Baptis. Beliau mempunyai tiga adik-beradik, kakak Pamela yang empat tahun lebih tua, dan kembar Harry dan Ellen, yang tiga tahun lebih muda.[8] Smith menghadiri Our Lady of Lourdes, sebuah sekolah rendah Katolik persendirian di Philadelphia.[9] Ibu bapanya berpisah ketika beliau berusia 13 tahun,[10] tetapi tidak benar-benar bercerai sehingga sekitar 2000.[11]

Smith menghadiri Overbrook High School. Walaupun dilaporkan secara meluas, ia adalah benar bahawa Smith menolak biasiswa untuk menghadiri Massachusetts Institute of Technology (MIT); beliau tidak pernah memohon ke kolej kerana "mahu rap."[12] Smith berkata, beliau dimasukkan ke sebuah "program pra-kejuruteraan [musim panas]" di MIT untuk pelajar sekolah tinggi, tetapi beliau tidak hadir.[11][13][14] Menurut Smith, "Ibu saya, yang bekerja untuk Lembaga Sekolah Philadelphia, mempunyai seorang sahabat yang merupakan pegawai kemasukan di MIT. Saya mempunyai skor SAT cukup tinggi dan mereka memerlukan kanak-kanak hitam, jadi saya mungkin boleh mendapat. Tetapi saya tidak mempunyai niat untuk pergi ke kolej."[15]